最大程度地减少具有随机梯度下降（SGD）的包容性kullback-leibler（KL）差异，因为其梯度被定义为后部的积分。最近，已经提出了多种方法运行SGD，并从马尔可夫链中获得了偏置梯度估计。本文通过建立混合速率和梯度方差，对这些方法进行了首次对这些方法的非反应收敛分析。为此，我们证明了这些方法 - 我们共同将其称为马尔可夫链得分上升（MCSA）方法can被视为马尔可夫链梯度下降框架的特殊情况。此外，通过利用这种新的理解，我们开发了一种新颖的MCSA方案，即Parallal MCSA（PMCSA），该方案在梯度方差上实现了更严格的结合。我们证明了这一改进的理论结果转化为卓越的经验表现。

高斯工艺高参数优化需要大核矩阵的线性溶解和对数确定因子。迭代数值技术依赖于线性溶液的共轭梯度方法（CG）和对数数据的随机痕迹估计的迭代数值技术变得越来越流行。这项工作介绍了用于预处理这些计算的新算法和理论见解。虽然在CG的背景下对预处理有充分的理解，但我们证明了它也可以加速收敛并减少对数数据及其衍生物的估计值的方差。我们证明了对数确定性，对数 - 界限可能性及其衍生物的预处理计算的一般概率误差界限。此外，我们得出了一系列内核 - 前提组合的特定速率，这表明可以达到指数收敛。我们的理论结果可以证明对内核超参数的有效优化，我们在大规模的基准问题上进行经验验证。我们的方法可以加速训练，最多可以达到数量级。

Despite advances in scalable models, the inference tools used for Gaussian processes (GPs) have yet to fully capitalize on developments in computing hardware. We present an efficient and general approach to GP inference based on Blackbox Matrix-Matrix multiplication (BBMM). BBMM inference uses a modified batched version of the conjugate gradients algorithm to derive all terms for training and inference in a single call. BBMM reduces the asymptotic complexity of exact GP inference from O(n 3 ) to O(n 2 ). Adapting this algorithm to scalable approximations and complex GP models simply requires a routine for efficient matrix-matrix multiplication with the kernel and its derivative. In addition, BBMM uses a specialized preconditioner to substantially speed up convergence. In experiments we show that BBMM effectively uses GPU hardware to dramatically accelerate both exact GP inference and scalable approximations. Additionally, we provide GPyTorch, a software platform for scalable GP inference via BBMM, built on PyTorch.

Due to the high activation sparsity and use of accumulates (AC) instead of expensive multiply-and-accumulates (MAC), neuromorphic spiking neural networks (SNNs) have emerged as a promising low-power alternative to traditional DNNs for several computer vision (CV) applications. However, most existing SNNs require multiple time steps for acceptable inference accuracy, hindering real-time deployment and increasing spiking activity and, consequently, energy consumption. Recent works proposed direct encoding that directly feeds the analog pixel values in the first layer of the SNN in order to significantly reduce the number of time steps. Although the overhead for the first layer MACs with direct encoding is negligible for deep SNNs and the CV processing is efficient using SNNs, the data transfer between the image sensors and the downstream processing costs significant bandwidth and may dominate the total energy. To mitigate this concern, we propose an in-sensor computing hardware-software co-design framework for SNNs targeting image recognition tasks. Our approach reduces the bandwidth between sensing and processing by 12-96x and the resulting total energy by 2.32x compared to traditional CV processing, with a 3.8% reduction in accuracy on ImageNet.

几种慢性肺疾病，例如特发性肺纤维化（IPF）的特征是气道异常扩张。计算机断层扫描（CT）上气道特征的定量可以帮助表征疾病进展。已经开发了基于物理的气道测量算法，但由于在临床实践中看到的气道形态多样性，因此取得了有限的成功。由于获得精确的气道注释的高成本，监督学习方法也不可行。我们建议使用感知损失通过样式转移进行综合气道，以训练我们的模型气道转移网络（ATN）。我们使用a）定性评估将ATN模型与最先进的GAN网络（SIMGAN）进行比较； b）评估基于ATN和SIMGAN的CT气道指标预测113例IPF患者死亡率的能力。与Simgan相比，ATN被证明更快，更容易训练。还发现基于ATN的气道测量值始终比IPF CTS上的SIMGAN衍生气道指标更强大。通过转化网络使用感知损失来完善合成数据的转化网络是基于GAN的方法的现实替代方法，用于用于特发性肺纤维化的临床CT分析。我们的源代码可以在https://github.com/ashkanpakzad/atn上找到，该源代码与Airquant的现有开放源气道分析框架兼容。

语言模型既展示了定量的改进，又展示了新的定性功能，随着规模的增加。尽管它们具有潜在的变革性影响，但这些新能力的特征却很差。为了为未来的研究提供信息，为破坏性的新模型能力做准备，并改善社会有害的效果，至关重要的是，我们必须了解目前和近乎未来的能力和语言模型的局限性。为了应对这一挑战，我们介绍了超越模仿游戏基准（Big Bench）。 Big Bench目前由204个任务组成，由132家机构的442位作者贡献。任务主题是多样的，从语言学，儿童发展，数学，常识性推理，生物学，物理学，社会偏见，软件开发等等。 Big-Bench专注于被认为超出当前语言模型的功能的任务。我们评估了OpenAI的GPT型号，Google内部密集变压器体系结构和大型基础上的开关稀疏变压器的行为，跨越了数百万到数十亿个参数。此外，一个人类专家评估者团队执行了所有任务，以提供强大的基准。研究结果包括：模型性能和校准都随规模改善，但绝对的术语（以及与评估者的性能相比）；在模型类中的性能非常相似，尽管带有稀疏性。逐渐和预测的任务通常涉及大量知识或记忆成分，而在临界规模上表现出“突破性”行为的任务通常涉及多个步骤或组成部分或脆性指标；社交偏见通常会随着含糊不清的环境而随着规模而增加，但这可以通过提示来改善。

自然语言处理研究人员已经确定了对生成任务的评估方法的局限性，具有新的问题，提出了自动指标和人群判断的有效性。同时，改善生成模型的努力倾向于专注于简单的n-gram重叠度量（例如，Bleu，Rouge）。我们认为，对模型和指标的新进展应该每个人都更直接受益并告知另一个。因此，我们提出了排行榜，竞争排行榜（广告牌）的概括，同时跟踪语言生成任务和指标的进展。与通过预定度量分类提交系统的传统的单向排行榜不同，广告牌可接受发电机和评估度量作为竞争条目。广告牌会自动创建一个基于跨发电机的全局分析选择和线性地组合一些指标的集合度量。此外，指标基于与人类判断的相关性进行排序。我们释放了用于机器翻译，摘要和图像标题的四个广告牌。我们展示了一些多样化度量的线性集合有时会在隔离中显着优于现有的度量。我们的混合效果模型分析表明，大多数自动度量，尤其是基于参考的机器，对人类发电的重估，展示了更新度量的重要性，将来变得更强大（也许与人类更相似）。

异常气道扩张，称为牵引支气管扩张，是特发性肺纤维化（IPF）的典型特征。体积计算断层扫描（CT）成像捕获IPF中逐渐变细的丢失。我们假设气道异常的自动化量化可以提供IPF疾病程度和严重程度的估算。我们提出了一种自动化计算管道，系统地将气道树木从基于深度学习的气道分割中划分到其裂片和世代分支，从而从胸部CT获得气道结构措施。重要的是，透气阻止通过厚波传播的杂散气道分支的发生，并通过图表搜索去除气道树中的环，克服现有气道骨架算法的限制。在14名健康参与者和14名IPF患者之间比较了透气段（跨空间）和透气曲线曲线之间的逐渐变化。 IPF患者中，Airway interberering显着降低，与健康对照相比，Airway曲线曲调显着增加。差异在下叶中最大标记，符合IPF相关损伤的典型分布。透气是一种开源管道，避免了现有的气道定量算法的限制，并具有临床解释性。自动化气道测量可能具有作为IPF严重程度和疾病程度的新型成像生物标志物。

放射线学使用定量医学成像特征来预测临床结果。目前，在新的临床应用中，必须通过启发式试验和纠正过程手动完成各种可用选项的最佳放射组方法。在这项研究中，我们提出了一个框架，以自动优化每个应用程序的放射线工作流程的构建。为此，我们将放射线学作为模块化工作流程，并为每个组件包含大量的常见算法。为了优化每个应用程序的工作流程，我们使用随机搜索和结合使用自动化机器学习。我们在十二个不同的临床应用中评估我们的方法，从而在曲线下导致以下区域：1）脂肪肉瘤（0.83）； 2）脱粘型纤维瘤病（0.82）; 3）原发性肝肿瘤（0.80）; 4）胃肠道肿瘤（0.77）； 5）结直肠肝转移（0.61）; 6）黑色素瘤转移（0.45）; 7）肝细胞癌（0.75）; 8）肠系膜纤维化（0.80）; 9）前列腺癌（0.72）； 10）神经胶质瘤（0.71）; 11）阿尔茨海默氏病（0.87）;和12）头颈癌（0.84）。我们表明，我们的框架具有比较人类专家的竞争性能，优于放射线基线，并且表现相似或优于贝叶斯优化和更高级的合奏方法。最后，我们的方法完全自动优化了放射线工作流的构建，从而简化了在新应用程序中对放射线生物标志物的搜索。为了促进可重复性和未来的研究，我们公开发布了六个数据集，框架的软件实施以及重现这项研究的代码。

制定和实施结构健康监测系统的主要动机是获得有关制定结构和维护结构和维护的能力的前景。遗憾的是，对于对应于感兴趣结构的健康状态信息的测量数据的描述性标签很少在监控系统之前可用。该问题限制了传统监督和无监督方法对机器学习的适用性，以便在统计分类机制下进行决策支持SHM系统。本文提出了一种基于风险的主动学习的制定，其中类标签信息的查询被每个初期数据点的所述信息的预期值引导。当应用于结构性健康监测时，可以将类标签查询映射到兴趣结构的检查中，以确定其健康状态。在本文中，通过代表数值示例解释和可视化基于风险的主动学习过程，随后应用于Z24桥梁基准。案例研究结果表明，通过统计分类器的基于风险的主动学习可以改善决策者的性能，从而考虑决策过程本身。